Na het afbreken van de vroegere stadsvesten van Oudenaarde werd een stuk van deze vrijgekomen gronden verkocht aan de vooraanstaande familie Liedts.
Charles Liedts, een van de grondleggers van België, minister van Financiën van midden 1800 en een van de stichters van de Nationale Bank van België, liet er rond 1860 een buitenverblijf bouwen.
Oorspronkelijk was het een wit gepleisterd kasteel, dat in 1883 door zijn zoon, Amedée Liedts, wederopgebouwd werd in eclectische stijl. Het park, in Engelse landschapsstijl, werd grotendeels aangelegd tussen 1865 en 1869.
De kinderloze Amedée, schonk het kasteel Liedts, met zijn bibliotheek, kunstbezittingen en park in 1907 aan de stad Oudenaarde, die het domein als stadspark openstelde. Vandaag de dag is het kasteel de thuishaven van het VCL, het Vrijzinnig Centrum Liedts. Het park staat open voor het publiek en vormt de groene long van de stad Oudenaarde.